Motivation: Enhancers are important cis-regulatory elements that regulate a wide range of biological functions and enhance the transcription of target genes. Although many state-of-the-art computational methods have been proposed in order to efficiently identify enhancers, learning globally contextual features is still one of the challenges for computational methods. Regarding the similarities between biological sequences and natural language sentences, the novel BERT-based language techniques have been applied to extracting complex contextual features in various computational biology tasks such as protein function/structure prediction. To speed up the research on enhancer identification, it is urgent to construct a BERT-based enhancer language model. Results: In this paper, we propose a multi-scale enhancer identification method (iEnhancer-ELM) based on enhancer language models, which treat enhancer sequences as natural language sentences that are composed of k-mer nucleotides. iEnhancer-ELM can extract contextual information of multi-scale k-mers with positions from raw enhancer sequences. Benefiting from the complementary information of k-mers in multi-scale, we ensemble four iEnhancer-ELM models for improving enhancer identification. The benchmark comparisons show that our model outperforms state-of-the-art methods. By the interpretable attention mechanism, we finds 30 biological patterns, where 40% (12/30) are verified by a widely used motif tool (STREME) and a popular dataset (JASPAR), demonstrating our model has a potential ability to reveal the biological mechanism of enhancer. Availability: The source code are available at https://github.com/chen-bioinfo/iEnhancer-ELM Contact: junjiechen@hit.edu.cn and junjie.chen.hit@gmail.com; Supplementary information: Supplementary data are available at Bioinformatics online.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

Existing regulations prohibit model developers from accessing protected attributes (gender, race, etc.), often resulting in fairness assessments on populations without knowing their protected groups. In such scenarios, institutions often adopt a separation between the model developers (who train models with no access to the protected attributes) and a compliance team (who may have access to the entire dataset for auditing purpose). However, the model developers might be allowed to test their models for bias by querying the compliance team for group fairness metrics. In this paper, we first demonstrate that simply querying for fairness metrics, such as statistical parity and equalized odds can leak the protected attributes of individuals to the model developers. We demonstrate that there always exist strategies by which the model developers can identify the protected attribute of a targeted individual in the test dataset from just a single query. In particular, we show that one can reconstruct the protected attributes of all the individuals from O(Nk log n/Nk) queries when Nk<<n using techniques from compressed sensing (n: size of the test dataset, Nk: size of smallest group). Our results pose an interesting debate in algorithmic fairness: should querying for fairness metrics be viewed as a neutral-valued solution to ensure compliance with regulations? Or, does it constitute a violation of regulations and privacy if the number of queries answered is enough for the model developers to identify the protected attributes of specific individuals? To address this supposed violation, we also propose Attribute-Conceal, a novel technique that achieves differential privacy by calibrating noise to the smooth sensitivity of our bias query, outperforming naive techniques such as Laplace mechanism. We also include experimental results on the Adult dataset and synthetic data (broad range of parameters).

在本文中，我们解决了物体的主动机器人3D重建问题。特别是，我们研究了带有武器摄像机的移动机器人如何选择有利数量的视图来有效地恢复对象的3D形状。与现有的问题解决方案相反，我们利用了流行的神经辐射字段的对象表示，最近对各种计算机视觉任务显示了令人印象深刻的结果。但是，直接推荐使用这种表示形式的对象的显式3D几何细节，这并不是很直接的，这使得对密度3D重建的下一最佳视图选择问题具有挑战性。本文介绍了基于射线的容积不确定性估计器，该估计量沿对象隐式神经表示的每个光线沿每个射线的重量分布计算重量分布的熵。我们表明，考虑到提出的估计量的新观点，可以推断基础3D几何形状的不确定性。然后，我们提出了一个由基于射线的体积不确定性在基于神经辐射字段的表示中的指导下进行的最佳视图选择策略。令人鼓舞的关于合成和现实世界数据的实验结果表明，本文提出的方法可以使新的研究方向在机器人视觉应用中使用隐式的3D对象表示对次要的观察问题，从而将我们的方法与现有方法区分开依赖于显式3D几何建模的方法。

社会建议利用社会关系来增强建议的代表性学习。大多数社会推荐模型都将用户互动（协作领域）和社会关系（社会领域）的用户表示统一。但是，这种方法可能无法模拟用户在两个域中的异质行为模式，从而损害了用户表示的表现力。在这项工作中，为了解决这种局限性，我们为社会建议提出了一个新颖的截面对比度学习框架DCREC。更具体地说，我们建议从项目和社会域中学习分开的用户表示。此外，分离的对比度学习旨在在分散的用户表示之间进行社交建议之间的知识转移。各种现实世界数据集的全面实验证明了我们提出的模型的优势。

过去，图像检索是用于跨视图地理位置和无人机视觉本地化任务的主流解决方案。简而言之，图像检索的方式是通过过渡角度获得最终所需的信息，例如GPS。但是，图像检索的方式并非完全端到端。并且有一些多余的操作，例如需要提前准备功能库以及画廊构造的抽样间隔问题，这使得很难实施大规模应用程序。在本文中，我们提出了一个端到端定位方案，使用图像（FPI）查找点，该方案旨在通过源A的图像（无人机 - - 看法）。为了验证我们的框架的可行性，我们构建了一个新的数据集（UL14），该数据集旨在解决无人机视觉自我定位任务。同时，我们还建立了一个基于变压器的基线以实现端到端培训。另外，先前的评估方法不再适用于FPI框架。因此，提出了米级准确性（MA）和相对距离评分（RDS）来评估无人机定位的准确性。同时，我们初步比较了FPI和图像检索方法，而FPI的结构在速度和效率方面都可以提高性能。特别是，由于不同观点与剧烈的空间量表转换之间的巨大差异，FPI的任务仍然是巨大的挑战。

反事实是一种新兴的模型解释类型，最近引起了行业和学术界的大量关注。与传统的基于特征的解释（例如，归因）不同，反事实是一系列假设样本，可以将模型决策翻转而对查询的扰动最小。鉴于有效的反事实，人类能够在``假设的情况''的情况下进行推理，以便更好地理解模型决策边界。但是，释放反事实可能是有害的，因为它可能无意间泄漏敏感信息给对手，这给模型安全性和数据隐私带来了更高的风险。为了弥合差距，在本文中，我们提出了一个新颖的框架，以生成不同的私人反事实（DPC），而无需触摸已部署的模型或解释集，在该集合中注入了噪音以进行保护，同时保持反事实的解释作用。特别是，我们使用功能机制训练自动编码器来构建嘈杂的类原型，然后根据差异隐私的后处理免疫从潜在原型中得出DPC。进一步的评估证明了拟议框架的有效性，表明DPC可以成功缓解提取和推理攻击的风险。

深度学习方法论为高光谱图像（HSI）分析社区的发展做出了很大贡献。但是，这也使HSI分析系统容易受到对抗攻击的影响。为此，我们在本文中提出了一个掩盖的空间光谱自动编码器（MSSA），根据自我监督的学习理论，以增强HSI分析系统的鲁棒性。首先，进行了一个掩盖的序列注意学习模块，以促进沿光谱通道的HSI分析系统的固有鲁棒性。然后，我们开发了一个具有可学习的图形结构的图形卷积网络，以建立全局像素的组合。这样，每种组合中的所有相关像素都可以分散攻击效果，并且在空间方面可以实现更好的防御性能。最后，为了提高防御能力并解决有限标记样品的问题，MSSA采用光谱重建作为借口任务，并以自我监督的方式适合数据集。 - 高光谱分类方法和代表性的对抗防御策略。

深度神经网络（DNN）已被证明是针对对抗性示例（AE）的脆弱性，这些例子是恶意设计用于欺骗目标模型的。添加了不可察觉的对抗扰动的正常示例（NES）可能是对DNN的安全威胁。尽管现有的AES检测方法已经达到了很高的精度，但他们未能利用检测到的AE的信息。因此，基于高维扰动提取，我们提出了一种无模型的AES检测方法，其整个过程没有查询受害者模型。研究表明，DNN对高维度敏感。对抗示例中隐藏的对抗性扰动属于高维特征，高维特征是高度预测性和非持胸膜的。 DNN比其他人从高维数据中学习更多细节。在我们的方法中，扰动提取器可以从AES作为高维特征提取对抗扰动，然后训练有素的AES鉴别器确定输入是否为AE。实验结果表明，所提出的方法不仅可以以高精度检测对抗示例，还可以检测AE的特定类别。同时，提取的扰动可用于将AE恢复到NES。

DNN的成功是由过度参数化网络概括的违反直觉能力驱动的，即使它们完全适合培训数据。实际上，测试误差通常会随着过度参数化的增加而继续减少，称为双重下降。这使从业者可以实例化大型模型，而不必担心过度合适。但是，尽管有好处，但先前的工作表明，过度参数会加剧偏见对少数族裔亚组。已经提出了几种公平约束的DNN培训方法来解决这一问题。在这里，我们对Mindiff进行了严格的研究，这是Tensorflow负责AI工具包中实施的公平约束培训程序，旨在实现机会平等。我们表明，尽管Mindiff改善了参数化不足的模型的公平性，但在过度参数化的制度中可能是无效的。这是因为一个具有零训练损失的过度合适模型在培训数据上是微不足道的，造成了“公平幻想”，因此可以关闭Mindiff的优化（这将适用于任何基于差异的措施，这些措施关心错误或准确性。它不适用于人口统计）。在指定的公平限制内，与参数过度的同行相比，参数化的Mindiff模型甚至可能具有较低的错误（尽管基线过度参数化模型的错误较低）。我们进一步表明，Mindiff优化对在参数不足的制度中的批处理大小非常敏感。因此，使用Mindiff的公平模型培训需要耗时的超参数搜索。最后，我们建议使用先前提出的正则化技术，即。 L2，与Mindiff结合使用的早期停止和洪水训练公平的参数化模型。